অ্যাপাচি টিকা (Apache Tika) এবং Elasticsearch একসাথে ব্যবহার করে বিভিন্ন ধরণের ফাইল থেকে টেক্সট এবং মেটাডেটা এক্সট্রাক্ট করে ইন্ডেক্সিং করা যায়। Elasticsearch হল একটি ওপেন সোর্স ডিস্ট্রিবিউটেড সার্চ ইঞ্জিন, যা দ্রুতগতিতে ডেটা স্টোর, সার্চ এবং বিশ্লেষণ করতে সক্ষম। অ্যাপাচি টিকার মাধ্যমে ফাইল থেকে ডেটা বের করে Elasticsearch-এ ইন্ডেক্স করা হলে দ্রুত সার্চ এবং কন্টেন্ট রিট্রিভাল করা সম্ভব।
অ্যাপাচি টিকা এবং Elasticsearch-এর সংযুক্ত কার্যপ্রণালী
১. Apache Tika: ফাইলের টেক্সট এবং মেটাডেটা এক্সট্রাক্ট করে।
২. Elasticsearch: এক্সট্রাক্টেড ডেটাকে ইন্ডেক্সিং করে এবং দ্রুত সার্চ এবং রিট্রিভাল সরবরাহ করে।
কেন Elasticsearch এবং Tika ব্যবহার করবেন?
- বিভিন্ন ফরম্যাট সাপোর্ট: PDF, DOCX, PPT, HTML, ইমেজ, অডিও, এবং ভিডিও ফাইল ইন্ডেক্সিং করা সম্ভব।
- দ্রুত সার্চ: Elasticsearch-এর সাহায্যে খুব কম সময়ে সার্চ ফলাফল পাওয়া যায়।
- স্কেলেবিলিটি: Elasticsearch বড় পরিমাণ ডেটা হ্যান্ডল করতে সক্ষম।
- রিয়েল-টাইম প্রসেসিং: এক্সট্রাক্টেড ডেটাকে রিয়েল-টাইমে ইন্ডেক্সিং করা যায়।
সিস্টেম স্ট্রাকচার
১. Apache Tika ফাইল থেকে টেক্সট এবং মেটাডেটা বের করবে।
২. Python/Java এর মাধ্যমে Tika থেকে প্রাপ্ত ডেটাকে Elasticsearch-এ পাঠানো হবে।
৩. Elasticsearch ডেটা ইন্ডেক্স করবে এবং ব্যবহারকারীর সার্চের জন্য রেসপন্স রিটার্ন করবে।
প্রয়োজনীয় টুল
- Apache Tika (Tika Server বা Tika Library)
- Elasticsearch
- Python (Elasticsearch Client:
elasticsearch-py)
বাস্তবায়ন প্রক্রিয়া
১. Elasticsearch সেটআপ
Elasticsearch ইনস্টল করুন এবং সার্ভার চালু করুন।
# Elasticsearch চালু করার কমান্ড
bin/elasticsearch
২. Apache Tika সার্ভার চালু করা
Apache Tika-এর Server Mode ব্যবহার করা হলে এটি REST API এর মাধ্যমে ডেটা এক্সট্রাক্ট করতে সাহায্য করে।
# Tika Server চালু করা
java -jar tika-server-x.x.jar
৩. Python দিয়ে File Indexing
নিচের Python স্ক্রিপ্টে ফাইল থেকে Apache Tika-এর মাধ্যমে টেক্সট এক্সট্রাক্ট করা হচ্ছে এবং Elasticsearch-এ ইন্ডেক্সিং করা হচ্ছে।
from tika import parser
from elasticsearch import Elasticsearch
# Elasticsearch সার্ভারে কানেক্ট করুন
es = Elasticsearch([{'host': 'localhost', 'port': 9200}])
# ফাইল প্রসেসিং এবং Tika দিয়ে টেক্সট এক্সট্রাক্ট
def process_and_index_file(file_path, index_name):
# Tika দিয়ে টেক্সট এক্সট্রাক্ট
raw_data = parser.from_file(file_path)
content = raw_data['content']
metadata = raw_data['metadata']
# Elasticsearch-এ ডেটা ইন্ডেক্সিং
document = {
'content': content,
'metadata': metadata
}
res = es.index(index=index_name, document=document)
print("Indexed Document ID:", res['_id'])
# ফাইলের পাথ এবং ইনডেক্স নাম
file_path = 'example.pdf'
index_name = 'file-index'
# ফাংশন কল
process_and_index_file(file_path, index_name)
কোড বিশ্লেষণ
১. Apache Tika: ফাইল থেকে কাঁচা টেক্সট (content) এবং মেটাডেটা (metadata) এক্সট্রাক্ট করছে।
২. Elasticsearch: এক্সট্রাক্টেড ডেটাকে একটি ইনডেক্সে স্টোর করছে।
Elasticsearch-এ ডেটা সার্চ
Elasticsearch API ব্যবহার করে ইন্ডেক্স করা ডেটা সহজেই সার্চ করা যায়।
# Elasticsearch সার্চ
res = es.search(index=index_name, query={"match": {"content": "specific keyword"}})
for hit in res['hits']['hits']:
print("Search Result:", hit['_source'])
বাস্তব ব্যবহার ক্ষেত্র
- ডকুমেন্ট ম্যানেজমেন্ট সিস্টেম: বিভিন্ন ফাইল ফরম্যাট ইন্ডেক্স করে সার্চ করা।
- লিগ্যাল এবং এন্টারপ্রাইজ সার্চ: প্রচুর ডকুমেন্টের মধ্যে প্রয়োজনীয় তথ্য খুঁজে বের করা।
- ডাটা অ্যানালাইসিস: টেক্সট কন্টেন্ট এনালাইসিসের জন্য মেটাডেটা সংগ্রহ করা।
সারাংশ
Apache Tika এবং Elasticsearch-এর মাধ্যমে ফাইল থেকে টেক্সট এবং মেটাডেটা ইন্ডেক্স করে দ্রুত এবং দক্ষতার সাথে সার্চ করা সম্ভব। Tika ফাইল এক্সট্রাকশনের কাজ সহজ করে, আর Elasticsearch সেই ডেটা সংরক্ষণ করে এবং রিয়েল-টাইম সার্চ নিশ্চিত করে। এটি ডকুমেন্ট ম্যানেজমেন্ট এবং সার্চ সিস্টেমের জন্য একটি কার্যকর সমাধান।
